El primer castillo construido por Hermandad de Espada, llamado Wittenstein ("hecho de piedra blanca"), fue mencionado por primera vez en 1209. Se encontraba al norte del castillo de Obispo. El Castillo fue destruido por los campesinos durante la guerra contra el Orden. Ellos tuvieron que construir un Castillo nuevo para el Orden Livonian en lugar de hospital de Espirito Sagrado, con la condicion de demoler la fortificacion y abrir la parte de la ciudad que se da a Castillo. La torre de Espirito Sagrado y el fragmento de fortificacion fueron anadidos a Castillo nuevo construido bajo la vigilancia de D.Kriege en 1330-1353. En 1484 el pueblo de nuevo destruyó este edificio, pero luego fue obligado a reconstruirlo y la construcción fue terminada completamente en 1515.
A finales del siglo XVI y en XVII Castillo fue unido con el sistema de fortificación urbana. En XVIII el foso que rodeaba el Castillo fue llenado y cerca del Castillo construyeron una plaza.
En XVII-XVIII al Castillo fueron anadidas unas alas, ya que lo usaban como el edificio público los oficiales polacos y suecos. En XVIII se hizo la residencia de general gobernador ruso. Actualmente la parte del edificio se reconstruye.